最近的文本到语音（TTS）的质量与人类的质量相当。但是，其在口语对话中的应用尚未得到广泛研究。这项研究旨在实现与人类对话非常相似的TT。首先，我们记录并抄录实际自发对话。然后，提出的对话TTS分为两个阶段：第一阶段，各种自动编码器（VAE） - VITS或高斯混合物变化自动编码器（GMVAE） - 培训了训练，从端到端文本对语音（VIT），最近提出的端到端TTS模型。从语音中提取潜在的口语表示的样式编码器与TTS共同培训。在第二阶段，对风格预测指标进行了训练，以预测从对话历史中综合的说话风格。在推断期间，通过将样式预测器预测的语言样式表示为VAE/gmvae-vits，可以以适合对话背景的样式合成语音。主观评估结果表明，所提出的方法在对话级别的自然性方面优于原始VIT。

神经声码器（NVS）的发展导致了高质量和快速的波形。但是，常规的NV靶向单个采样率，并在应用于不同采样率时需要重新训练。由于语音质量和发电速度之间的权衡，合适的采样率因应用到应用而异。在这项研究中，我们提出了一种处理单个NV中多个采样率的方法，称为MSR-NV。通过从低采样率开始生成波形，MSR-NV可以有效地了解每个频段的特征，并以多个采样率合成高质量的语音。它可以被视为先前提出的NVS的扩展，在这项研究中，我们扩展了平行波甘（PWG）的结构。实验评估结果表明，所提出的方法比在16、24和48 kHz分别训练的原始PWG实现的主观质量明显更高，而没有增加推理时间。我们还表明，MSR-NV可以利用较低的采样率来利用语音来进一步提高合成语音的质量。

本文提出了一种具有多粒度潜变量的分层生成模型，以综合表达语音。近年来，将细粒度的潜在变量引入了文本到语音合成中，使得韵律和讲话方式的精细控制能够进行综合演讲。然而，当通过从标准高斯先前抽样获得这些潜变量时，言语的自然度降低。为了解决这个问题，我们提出了一种用于建模细粒度潜在变量的新框架，考虑到输入文本，分层语言结构和潜在变量的时间结构的依赖性。该框架包括多粒子变形AutoEncoder，条件先前和多级自回归潜伏转换器，以获得不同的时间分辨率潜变量，并通过拍摄来对较粗级别的潜入变量进行样本考虑到输入文本。实验结果表明，在合成阶段在没有参考信号的情况下采样细粒潜变量的适当方法。我们拟议的框架还提供了整个话语中说话风格的可控性。

Agents that can follow language instructions are expected to be useful in a variety of situations such as navigation. However, training neural network-based agents requires numerous paired trajectories and languages. This paper proposes using multimodal generative models for semi-supervised learning in the instruction following tasks. The models learn a shared representation of the paired data, and enable semi-supervised learning by reconstructing unpaired data through the representation. Key challenges in applying the models to sequence-to-sequence tasks including instruction following are learning a shared representation of variable-length mulitimodal data and incorporating attention mechanisms. To address the problems, this paper proposes a novel network architecture to absorb the difference in the sequence lengths of the multimodal data. In addition, to further improve the performance, this paper shows how to incorporate the generative model-based approach with an existing semi-supervised method called a speaker-follower model, and proposes a regularization term that improves inference using unpaired trajectories. Experiments on BabyAI and Room-to-Room (R2R) environments show that the proposed method improves the performance of instruction following by leveraging unpaired data, and improves the performance of the speaker-follower model by 2\% to 4\% in R2R.

This paper proposes a novel sequence-to-sequence (seq2seq) model with a musical note position-aware attention mechanism for singing voice synthesis (SVS). A seq2seq modeling approach that can simultaneously perform acoustic and temporal modeling is attractive. However, due to the difficulty of the temporal modeling of singing voices, many recent SVS systems with an encoder-decoder-based model still rely on explicitly on duration information generated by additional modules. Although some studies perform simultaneous modeling using seq2seq models with an attention mechanism, they have insufficient robustness against temporal modeling. The proposed attention mechanism is designed to estimate the attention weights by considering the rhythm given by the musical score. Furthermore, several techniques are also introduced to improve the modeling performance of the singing voice. Experimental results indicated that the proposed model is effective in terms of both naturalness and robustness of timing.

Bayesian optimization~(BO) is often used for accelerator tuning due to its high sample efficiency. However, the computational scalability of training over large data-set can be problematic and the adoption of historical data in a computationally efficient way is not trivial. Here, we exploit a neural network model trained over historical data as a prior mean of BO for FRIB Front-End tuning.

图神经网络（GNN）已成为与图形和类似拓扑数据结构有关的无数任务的骨干。尽管已经在与节点和图形分类/回归任务有关的域中建立了许多作品，但它们主要处理单个任务。在图形上的持续学习在很大程度上没有探索，现有的图形持续学习方法仅限于任务的学习方案。本文提出了一个持续学习策略，该策略结合了基于架构和基于内存的方法。结构学习策略是由强化学习驱动的，在该学习中，对控制器网络进行了这种方式，以确定观察到新任务时从基本网络中添加/修剪的最佳节点，从而确保足够的网络能力。参数学习策略的基础是黑暗体验重播方法的概念，以应对灾难性的遗忘问题。我们的方法在任务收入学习和课堂学习设置中都通过几个图的连续学习基准问题进行了数值验证。与最近发表的作品相比，我们的方法在这两种设置中都表明了性能的提高。可以在\ url {https://github.com/codexhammer/gcl}上找到实现代码。

我们提出XMEM，这是一种由Atkinson-Shiffrin Memory模型启发的统一功能存储器存储的长视频的视频对象分割体系结构。视频对象分割的先前工作通常仅使用一种类型的功能内存。对于超过一分钟的视频，单个功能内存模型紧密地链接了内存消耗和准确性。相比之下，遵循Atkinson-Shiffrin模型，我们开发了一种结构，该体系结构结合了多个独立但深厚的特征记忆存储：快速更新的感觉存储器，高分辨率的工作记忆和紧凑的长期记忆。至关重要的是，我们开发了一种记忆增强算法，该算法通常将主动使用的工作记忆元素合并为长期记忆，从而避免记忆爆炸并最大程度地减少长期预测的性能衰减。结合新的记忆阅读机制，XMEM在与最先进的方法（不适用于长视频上使用）相当的长视频时，XMEM大大超过了长效数据集上的最先进性能数据集。代码可从https://hkchengrex.github.io/xmem获得

时间序列数据通常仅在观察过程中的中断时仅在有限的时间范围内获得。为了对这样的部分时间序列进行分类，我们需要考虑1）从2）不同时间戳绘制的可变长度数据。为了解决第一个问题，现有的卷积神经网络在卷积层之后使用全球池取消长度差异。这种体系结构遭受了将整个时间相关性纳入长数据和避免用于简短数据的功能崩溃之间的权衡。为了解决这种权衡，我们提出了自适应多尺度合并，该池从自适应数量的层中汇总了功能，即仅用于简短数据的前几层和更多的长数据层。此外，为了解决第二个问题，我们引入了时间编码，将观察时间戳嵌入中间特征中。我们的私有数据集和UCR/UEA时间序列档案中的实验表明，我们的模块提高了分类精度，尤其是在部分时间序列获得的短数据上。

在这项研究中，我们使用一个自我解释的神经网络（SENN），该神经网络学习了无监督的概念，以获取人们易于自动理解的概念。在概念学习中，隐藏的层保留了与输出相关的可口理功能，这在适应需要解释的现实环境时至关重要。但是，众所周知，在一般环境中，诸如自主驾驶场景等一般环境中，Senn输出的概念的解释性降低。因此，这项研究将对比度学习与概念学习结合在一起，以提高概念的可读性和任务的准确性。我们称此模型对比度自我解释神经网络（C-SENN）。